NVIDIA H200
NVIDIA Hopper 架构升级版数据中心 GPU（2023-11 发布，2024-Q2 出货），算力与 NVIDIA H100 同代，但显存升级至 141GB HBM3E、带宽提升至 4.8 TB/s，专为大模型推理和长上下文场景优化，承接 H100 → NVIDIA B200 之间的过渡市场。
关键规格
| 维度 | 数值 |
|---|---|
| 架构 | Hopper（与 H100 同核） |
| 发布 | 2023-11（SC23）/ 2024-Q2 量产 |
| 制程 | TSMC 4N |
| 显存 | 141 GB HBM3E（vs H100 的 80GB HBM3） |
| 显存带宽 | 4.8 TB/s（vs H100 的 3.35 TB/s） |
| FP16 / BF16 | ~989 TFLOPS（与 H100 一致） |
| FP8 | ~1,979 TFLOPS |
| TDP | 700W（SXM5） |
| 互联 | NVLink 4（900 GB/s）+ PCIe Gen5 |
| 整机形态 | HGX H200 8 卡 / DGX H200 |
市场定位
H200 不是新架构，而是显存升级版 H100 —— 对训练性能提升有限（同等算力），但对推理大模型和长上下文应用至关重要：
- 70B+ 模型推理单卡可装，无需切分到多卡（vs H100 需 2 卡）
- KV cache 容量翻倍，长 context（128K+）推理吞吐显著提升
- 显存带宽提升 43% → 内存带宽瓶颈型负载性能直接收益
主要竞品：AMD MI300X（192GB HBM3，显存更大但 ROCm 生态弱）、Google TPU v5p（内部使用）。
客户与部署
- CoreWeave / Lambda Labs / Nebius：Neoclouds 2024 主力新增机型
- Microsoft Azure / AWS / Oracle Cloud Infrastructure：2024 H2 上线 H200 实例
- 中国市场：H200 因更高带宽完全受出口管制，国内主要通过 H20（特供版）替代
演进路线
NVIDIA H100 → H200（显存升级）→ NVIDIA B200（新架构 Blackwell） → NVIDIA B300
关键来源
- 3-02-AI算力租赁-智算服务 —— 2024 算力租赁市场 H200 与 H100 价差约 30%
- 2-01-核心逻辑芯片 —— Hopper 系列产品矩阵分析
关联
↑ up::2-01-核心逻辑芯片 CoWoS HBM3E ↓ down::3-01-云计算与智算平台 3-02-AI算力租赁-智算服务 4-04-模型部署与优化 ⚔ competitor::AMD MI300X AMD MI325X ∈ belongs_to::2-01-核心逻辑芯片